Generalist prezentuje robota uczącego się czynności na podstawie pojedynczej demonstracji

Generalist prezentuje robota uczącego się czynności na podstawie pojedynczej demonstracji

Wystarczy jedna demonstracja, aby pokazać modelowi GEN-1.5, co ma robić; system jest w stanie natychmiast kontynuować wykonywanie zadania samodzielnie w trybie one-shot, bez potrzeby dostrajania (fine-tuning) czy aktualizacji wag.

Demonstracja jest wstawiana do okna kontekstowego modelu, analogicznie do promptu w dużych modelach językowych (LLM). Model traktuje to jako element sekwencji i kontynuuje generowanie odpowiedzi od tego punktu.

Co ciekawe, jest to cecha emergentna. Autorzy wyraźnie zaznaczają, że nie wprowadzili żadnych zmian architektonicznych na potrzeby uczenia w kontekście (in-context learning); po prostu podali modelowi ogromną ilość danych dotyczących fizycznych doświadczeń (domów, magazynów, fabryk itp.), a ten zaczął wykazywać zdolność uczenia się na podstawie pojedynczego przykładu – podobnie jak GPT-3 w przeszłości.

Ponadto blog informuje, że czasami uczenie w kontekście działa nawet lepiej niż 1–5 kroków dostrajania na tych samych danych.